On the Fundamental Limits of Prefill-Based Decoding Length Prediction
预填充解码长度预测的基本极限
🧭 LLM推理调度与基准协议
Xi'an Jiaotong University · Shandong University
揭示解码长度预测中的系统误差主导性，推导出所有基于预填充的方法必须遵守的统计界限
📌 工作参考价值（4 点）
- 在 LLM 生成式推荐或 Agent 对话系统中，解码长度预测可用于响应时间预估、超时设置与批量调度；可直接借鉴论文中的正态/CLT 模型对长度分布建模，用均值和方差快速估算尾部风险，无需部署复杂预测器。
- 评估任何解码长度预测模型时，必须固定模型版本、数据分布、采样参数（temperature/top-p/top-k），否则预测精度数字不可比；应同时报告相对误差指标，避免被绝对 MAE 误导。
- 若要在业务中优化推理资源或做容量规划，先训练一个简单 MLP 逼近理论界限，作为系统误差基线；若复杂模型（FiLM、MoE 等）无法显著超过该基线，则不需要引入额外复杂度，节省工程成本。
- 方差律 σ=αμ+b 可直接用于线上 SLA 估算：只需统计平均解码长度即可估算方差区间，辅助确定告警阈值、超时上限以及 GPU 并发调度策略。